为什么他们预测错了大选结果？谁预测对了？
作者／方可成
新闻实验室微信公号：newslab
川普当选美国下一任总统。许多议题有待深入探讨。即便我们将关注领域缩小到媒体，也有很多议题值得讨论。今天先关注一个令人惊讶的问题：为什么我们在媒体上看到的绝大部分预测都错了？
特别是考虑到会员通讯019里面引用《哥伦比亚新闻评论》的文章赞扬了这批利用数据做报道的记者，现在他们怎么失手了？他们还配被视为年轻一代记者的代表吗？
美国大选前夜，《纽约时报》预测：希拉里有85%的可能性获胜。538预测的数据是71%。其他媒体和民调机构给出的预测也都差不多。
根据这些数字，我们从媒体上听到的言论大多是：希拉里获胜应该没什么悬念，就看最后能赢多少了。也正因为对这些预测的信任（538的Nate Silver前两次大选预测都相当成功，两次共计只失手了一个州），我在一个群里说：如果希拉里输了，我给大家发大红包。
结果真的发了大红包。
其实就连共和党乃至川普团队可能都没有预料到这样的结果。共和党策略专家Mike Murphy说：“我的水晶球碎成了原子。今夜，数据死了。”
为什么大家都错了？美国舆论研究学会（AAPOR）已经组织了一支学者队伍进行研究，不过他们明年3月才会给出研究报告。
AAPOR组织的学者队伍名单：主席是Courtney Kennedy (Pew Research Center)，成员包括 Scott Clement (Washington Post), Kristen Olson (University of Nebraska-Lincoln), Claire Durand (University of Montreal), Lee Miringoff (Marist College), Doug Rivers (YouGov), Josh Clinton (Vanderbilt University), Mark Blumenthal (SurveyMonkey), Chris Wlezien (University of Texas), Kyley McGeeney (Penn and Schoen), Evans Witt (PSRAI and President of NCPP), Charles Franklin (Pollster.com and University of Wisconsin), Lydia Saad (Gallup).
各媒体和机构的预测者也在做剖析和检讨。由于现在还有部分数据不齐，所以还没有办法做非常全面的分析。不过从已经有的分析来看，大致有以下这些说法。
在总票数上，其实预测得没那么离谱
虽然到本文写作时为止（美东时间11月9日23时），总票数（popular vote）还没有完全统计结束，但是各方预计希拉里将会在总票数上胜出1-2个百分点。但是因为选举人票制度，胜利的是川普。（根据这篇文章http://www.npr.org/2016/11/02/500112248/how-to-win-the-presidency-with-27-percent-of-the-popular-vote 的讲解，在选举人票制度下，最极端情况下只要获得23%的总票数就可以胜选了。）
各民调机构在大选日前最终给出的预测是：希拉里在总票数上大概会胜出3-4个百分点，也就是说，和实际结果相比，误差为2个点左右。这个误差其实已经小于2012年的总票数误差了——当时，民调机构预测奥巴马会赢1个点，结果他赢了4个点，误差为3个点。
根据Nate Silver的计算（http://fivethirtyeight.com/features/what-a-difference-2-percentage-points-makes/），希拉里如果表现稍微好一点点，在总票数上多拿2个点，那么各家机构的预测基本上就是完全准确了（除了北卡之外）。
但是，在赢者通吃的选举人票制度下，2%的差别就会导致天翻地覆的变化。这就是美国大选的游戏规则。
民调的问题
在总票数上预测的接近，并不能掩盖这次预测的巨大失败：在俄亥俄、威斯康星、宾夕法尼亚等关键的摇摆州上，预测错得离谱，不是误差能解释的。
回答预测为什么会错，要从两个方面入手：民调和模型。包括538在内的各家机构在预测时，并不是凭空猜测，而是依赖民意调查机构发布的数据，用自己的模型来分析这些民调数据，得出预测结果。所以，民调数据错了，或者模型错了，都会带来谬误。
先说民调。下面这张表格显示的是民调和实际结果的差距。第一栏是各家民调机构预测的结果，加号表示川普胜，减号表示希拉里胜。第二栏是实际结果，第三栏是差距。比如，在宾夕法尼亚州，民调数据显示希拉里胜3.7个点，结果却是川普胜1.2个点，差了4.9个点，并且胜负完全翻盘。
民调为什么会错？最常见的解释就是：有很多支持川普的人，在接受民调时不好意思说出真实想法（术语叫做“social desirability bias”），但是在投票时会投给川普。
此外，经济学人的这篇文章（http://www.economist.com/blogs/economist-explains/2016/11/economist-explains-3）分析了两个族群方面的原因。其一，教育水平较低的白人投票热情比民调机构预想得要高涨得多。从上述表格来看，弗吉尼亚、科罗拉多等白人受教育水平较高的州，误差不大。而误差巨大的那些州，基本都有很多没有大学文凭的白人。民调机构本来预计这些人的投票结果中川普会胜出30个点，但是出口民调显示川普在这些人中胜出了39个点（值得一提的是：出口民调指的是民调机构在投票现场做的调查，针对刚投完票的选民，其数据也不一定完全可靠，原因比如有的群体会更多拒绝接受出口民调），这9个点的差距可能是川普在这些关键摇摆州翻盘的关键所在。
下面这张图可以从侧面提供一些证据。图中橙色的郡县是曾经支持奥巴马但是这次投给了川普的，可以看到它们大多集中于Midwest地区。这些地区的无大学学历白人，应该发挥了很大作用。
其二，由于有些族群难以被民意调查机构联系到（比如西班牙裔，可能因为经济状况等原因，电话使用率较低，而民调基本都是通过电话进行），而有些群体特别容易被联系到（比如老年白人女性，可能一打电话就接），所以民调机构会对各群体的回答进行加权。这就会带来问题：有的群体能联系到的样本可能很少，这样误差就大，再经过加权放大就更大了；有的群体投票意愿比民调机构预计得要低，比如这次黑人对希拉里的支持就明显不如对奥巴马的。
需要强调的是，这些都还只是根据目前数据的猜测，最终分析还要等待更全面的数据。
模型的问题
预测错了，也不能光怪民调机构给的数据不行，因为各家预测的核心竞争力是自己的模型。但这次，好像模型的表现也普遍不佳。
普林斯顿的Sam Wang在总结帖（http://election.princeton.edu/2016/11/09/aftermath/）中就说：他错误估计了相关误差（correlated error）的大小，而且差了五倍。因为这个错误，他的模型得出的结果是：希拉里将有99%的机率获胜。在所有机构的预测中，普林斯顿的最极端，也错得最离谱，就是因为这样一个参数的估计错误。
关于这个参数的详细解释，可以看Sam Wang的这篇文章（http://election.princeton.edu/2016/11/06/is-99-a-reasonable-probability/#more-18522）。目前还没看到纽约时报和538讨论自己的模型问题，他们确实也需要更多的实际投票数据才能作出科学的分析。
不过这个统计学博客（http://simplystatistics.org/2016/11/09/not-all-forecasters-got-it-wrong/）说：538的模型其实很棒了。当其他人都在预测希拉里大胜乃至必胜时，538利用同样有问题的民调数据，预测希拉里的胜率只有71%，显著低于其他。如果以95%的置信区间计算，538只错了16个关键州中的1个（而这个概率正是95%）。
再也不相信预测了吗？
有人说，这次大选的结果说明：永远不要相信媒体和专家的预测。
确实，Nate Silver等人在推特上也被冷嘲热讽，说他们的东西都是垃圾。
我是不同意这种意见的。媒体和专家在上两届大选中的预测都相当准确，这一次失手，值得好好检讨，但远不至于完全抛弃这种科学的方法，换成神棍夜观天象。
重要的是，如何从这次失手中总结经验，改进民调，改进模型，让预测变得更加准确。
说到底，还是要不要相信科学的问题。火箭发射失败了，关键是找出失败原因，而不是宣称航天技术都是骗人的。
有谁预测对了？
以上说的预测，都是基于民调数据。其实，还有一些不依靠民调数据的预测，这次反而成功了。比如今年《华盛顿邮报》曾两次报道（https://www.washingtonpost.com/news/the-fix/wp/2016/09/23/trump-is-headed-for-a-win-says-professor-whos-predicted-30-years-of-presidential-outcomes-correctly/?tid=a_inl）美利坚大学历史系教授Allan Lichtman的预测——他此前成功预测了30年未失手，这次又成功预测川普当选。如此高的准确率，方法其实并不复杂——看以下13个条件，如果有6条或以上是不成立的，那么目前正在执政的党派将会失利。
1. 中期选举之后，执政党比上一次中期选举后占有更多的众议院席位。
2. 执政党内部初选阶段没有激烈的竞争。
3. 执政党的候选人就是目前的在任总统。
4. 没有重要的第三党或独立候选人。
5. 竞选期间，经济没有处于衰退。
6. 这一届政府的实际人均经济增长超过或等于前两届。
7. 执政党进行了重要的全国范围内的政策改革。
8. 这一届政府没有持续的社会不满。
9. 这一届政府没有重要丑闻。
10. 这一届政府没有外交或军事上的重要失败。
11. 这一届政府在外交或军事上取得了重要成绩。
12. 执政党候选人很有个人魅力。
13. 挑战者候选人没有个人魅力。
对照这个列表，1、3、7、11、12都是铁定不成立的，4很有可能不成立（因为有Gary Johnson的存在）。所以共和党肯定会赢。
可以看到，这种预测方式基于的是美国政治中两党轮替的基本特征。当一个党派连续执政8年之后，要再连任是相当困难的。
与之类似，根据Vox的统计（http://www.vox.com/2016/11/9/13571872/why-donald-trump-won），还有其他一些人不依靠民调数据便预测成功：
耶鲁大学Ray Fair利用经济因素和执政党在位时间；
Stony Brook的Helmut Norpoth和威斯康星大学密尔沃基分校的Michael Bednarczuk利用新罕布什尔州初选数据和最近的总统表现；
Alan Abramowitz利用总统支持度、GDP增长以及执政党在位时间。
当然也有失败的：
爱荷华大学的Michael Lewis-Beck和Hunter College的Charles Tien利用经济因素和总统的受欢迎程度；
东卡罗来纳的Brad Lockerbie利用人们对个人财政状况的预期和执政党在位时间。
这种预测方法利用的是选举时的基本盘，来源于历史经验总结，但其实也是统计模型。和以民调为基础的预测相比，这种基本盘分析方式是否真的更加可靠？这也是一个见仁见智的问题。毕竟，没有哪种预测方式是万无一失的，每种方法都有自身的缺陷。在未来的大选中，媒体、民调机构、研究机构会继续改进预测方法，在成功和失败中吸取经验教训，不断提高数据质量、改进模型。